![arxiv：2311.14552v3 [CS.CV] 2024年10月8日](/simg/0/01bece2b02a718559491f0f4925c190c0dd412dd.webp)
机构名称：
¥ 1.0
摘要。复制天生的人类根据任何粒度的自由形式文本检测所有对象仍然是大型视觉语言模型（LVLM）的强大挑战。当前的LVLM主要限制以定位单个预先存在的对象。此限制导致模型设计的妥协，因此需要进行视觉专家模型或定制的头部结构。除了这些约束之外，我们的研究还发现了LVLMS的基本观念能力，从而使它们能够准确地识别并找到感兴趣的对象。基于这种见解，我们引入了一种新颖的语言，促使本地化数据集充分释放了LVLM在细颗粒对象感知和精确的位置意识中的能力。更重要的是，我们提出了纯粹基于LVLM的基线Griffon，它不会引入任何特殊的代币，专家模型或其他分解模块。它通过在各种与本地化相关的方案中统一数据格式，通过统一数据格式保持与人口LVLM的一致结构，并通过设计良好的管道进行了端到端训练。全面的实验表明，格里芬不仅在细粒度的reccoco系列和flickr30k实体上实现了最新的性能，而且还可以在检测基准MSCOCO上更快地接近专家模型的能力。数据，代码和模型在https://github.com/jefferyzhan/griffon上发布。
arxiv：2311.14552v3 [CS.CV] 2024年10月8日
主要关键词
![arxiv：2311.14552v3 [CS.CV] 2024年10月8日PDF文件第1页](/bimg/d/d136ca0b313ad07ae6527a7e4feab72bc72bc684.webp)
![arxiv：2311.14552v3 [CS.CV] 2024年10月8日PDF文件第2页](/bimg/8/865d609983a06825366f53bac1f772435e74faaf.webp)
![arxiv：2311.14552v3 [CS.CV] 2024年10月8日PDF文件第3页](/bimg/1/1b0585ef6e53efefe48073e9e887007049069eba.webp)
![arxiv：2311.14552v3 [CS.CV] 2024年10月8日PDF文件第4页](/bimg/9/92b984d26895d9f22e258a363ac42b2e8f9448b2.webp)
![arxiv：2311.14552v3 [CS.CV] 2024年10月8日PDF文件第5页](/bimg/9/98cb3235b662eeb44878a312eaa8747886054017.webp)
相关文件推荐
![arxiv：2410.02067v2 [CS.CV] 2024年10月28日](/simg/7/78d25e6808333495cd2a8f8404dca73c7a86c480.webp)
![arxiv：2404.11023v2 [CS.HC] 2024年10月8日](/simg/7/777d5575d4c46ec920d2ad959ecf8d6b2451e8fd.webp)
![arxiv：2410.17504v1 [CS.AI] 2024年10月23日](/simg/4/4dac50798af6ed318dfbcdd611e7b1650e58f2fa.webp)
![arxiv：2401.11305v3 [CS.CR] 2024年10月28日](/simg/2/23083580b9199c403b25bf4a8f0a0fddf7e0c940.webp)
![arxiv：2405.02288V2 [CS.CV] 2024年5月17日](/simg/a/ae87bc3287454a2fa534f8b83dd160f14afb0f16.webp)
![arxiv：2405.16959v1 [CS.CV] 2024年5月27日](/simg/4/490082b0a4cdb5dfe396c8f00e2d19916b174d66.webp)
![arxiv：2412.04469v1 [CS.CV] 2024年12月5日-NIPS Papers](/simg/d/d2c25b9caa37938f66dbb4fdda58fd675645fcf3.webp)
![arxiv：2410.17551v1 [cs.lg] 2024年10月23日](/simg/7/70fc63fcc3ad9d13137d19c4907749c6a3957d30.webp)
![arxiv：2401.16635v3 [cs.lg] 2024年10月22日](/simg/e/e568890926ce2fd605f82e93813aebae8f6dbc29.webp)
![arxiv：2402.00033v1 [cs.cv] 2024年1月8日](/simg/b/bf6f269cb3e70c75d41c4d45202668e009e3190b.webp)
![arxiv：2311.12624v3 [cs.lg] 2024年4月10日](/simg/b/b805ed0b9d6754219a9944f320dfe64ccf053ae1.webp)
![arxiv：2403.07179v2 [cs.lg] 2024年10月2日](/simg/0/0df373e396132a43ff5c87c9a460e5a31cd601b1.webp)
![arxiv：2406.00387v2 [hep-ph] 2024年10月14日](/simg/8/81c16c4f94a28157775c1dba9602677d3d4b6362.webp)
![arxiv：2311.10613v3 [Quant-ph] 2024年3月7日](/simg/a/ac72f57c63cc341c42001f022e01852c3496cc94.webp)
![arxiv：2302.08093v2 [Quant-ph] 2024年10月7日](/simg/c/c4a2e5bd75c87671a4588dad0ef915a54a973885.webp)
![arxiv：2404.11027V1 [CS.AI] 2024年4月17日](/simg/0/06939e0fc684e004fd4b9403eb6b6eccf4469b3f.webp)
![arxiv：2312.14115v2 [CS.RO] 2024年3月20日](/simg/e/e99ee2fdaea7aa8c5ff485da7d65812045754dff.webp)
![arxiv：2310.19300v2 [Stat.ml] 2024年10月17日](/simg/7/75059ef4d85fd9c1b6caf88bb31a0f6376342259.webp)
![arxiv：2405.01810v1 [CS.AI] 2024年5月3日](/simg/f/ff089de5e2c139bf28cc96af9e5bbe952b6d75c1.webp)
![arxiv：2407.01029v1 [CS.CV] 1 Jul 2024](/simg/3/36fa1e8e3ac067ac362f30b15579ead25140f794.webp)
![arxiv：2501.06692v1 [CS.CV] 2025年1月12日](/simg/8/8f2a32b34a443218d0d75cc2ab61407c3a5b45b0.webp)
![arxiv：2503.04665v1 [CS.CV] 2025年3月6日](/simg/4/46b23defd6471a8ebcc0c3c8dcc9e3af41bcffa3.webp)
![arxiv：2003.13653v3 [CS.CV] 2020年11月26日](/simg/1/162a7bf0dc00e22076b28e9894d902f162542492.webp)
![arxiv：2306.14222v2 [CS.CL] 2024年5月4日](/simg/1/1d12c5156a9a7faf9d4c8beaebaa26a3fea99c1b.webp)